大规模数据

1. 首页
2. 大规模数据

OmniCorpus

OmniCorpus是上海人工智能实验室联合多家知名高校和研究机构共同创建的一个大规模多模态数据集，包含86亿张图像和16960亿个文本标记，支持中英双语。它通过整合来自网站和视频平台的文本和视觉内容，提供了丰富的数据多样性。OmniCorpus不仅规模庞大，而且数据质量高，适合多模态机器学习模型的训练和研究。它广泛应用于图像识别、视觉问答、图像描述生成和内容推荐系统等领域。

AI项目与工具 2025年06月12日 75 点赞 0 评论 452 浏览

Taipy

Taipy是一款面向数据科学家和机器学习工程师的工具，专注于将数据和AI算法快速转化为生产级别的Web应用。其核心功能包括用户界面生成、场景与数据管理、大规模数据处理、高性能优化以及与主流数据平台的无缝集成。Taipy支持多种数据源，并提供实时数据可视化功能，广泛适用于数据可视化、机器学习模型部署、财务分析、销售预测及供应链优化等领域。

AI项目与工具 2025年06月12日 75 点赞 0 评论 292 浏览

CCI 3.0

CCI 3.0是一项由智源研究院开发的大规模中文互联网语料库，包含1000GB主数据集及498GB高质量子集。该语料库覆盖新闻、社交媒体、博客等领域，数据规模较前代扩大近一倍，来源增至20余家机构。通过多维度标注与数据清洗技术，CCI 3.0筛选出高价值数据，适用于自然语言处理、大模型训练、知识图谱构建、内容推荐系统以及教育科研等多种应用场景。

AI项目与工具 2025年06月12日 16 点赞 0 评论 375 浏览

FastExcel

FastExcel 是一个基于 Java 的开源 Excel 处理工具，具备高性能读写、流式操作和内存优化等特点。它兼容 EasyExcel 并在此基础上扩展了功能，如读取指定行数和 Excel 转换为 PDF，适用于大规模数据处理场景。FastExcel 提供简单易用的 API 和灵活的数据映射机制，广泛应用于财务报表生成、批量数据导入导出、ERP 系统集成及在线教育等领域。

AI项目与工具 2025年06月12日 94 点赞 0 评论 436 浏览

AGUVIS

AGUVIS是一款由香港大学与Salesforce联合开发的纯视觉框架，专为自主GUI智能体设计。它支持跨平台操作，通过图像观察与自然语言指令的关联，以及显式规划和推理能力，提高了代理在复杂数字环境中的交互效率。AGUVIS采用大规模数据集及两阶段训练方法，实现了在离线与在线场景中的高效性能，成为首个不依赖外部闭源模型即可独立完成任务的纯视觉GUI代理。

AI项目与工具 2025年06月12日 97 点赞 0 评论 128 浏览

CreatiLayout

CreatiLayout 是一种先进的布局到图像生成技术，由复旦大学与字节跳动联合开发。它基于大规模布局数据集 LayoutSAM，结合 SiamLayout 框架和 MM-DiT 架构，实现高质量、细粒度可控的图像生成。同时，其 LayoutDesigner 工具支持多种输入方式，帮助用户优化布局设计。适用于海报制作、室内设计、视觉创作及教学等多个领域。

AI项目与工具 2025年06月12日 56 点赞 0 评论 152 浏览

Crawl4LLM

Crawl4LLM是由清华与CMU联合开发的智能爬虫系统，通过评估网页对大语言模型预训练的价值，提升数据获取效率。支持多种爬取模式，具备状态保存、数据可视化功能，并与DCLM框架兼容。采用多维度评分机制优化爬取策略，减少低价值内容抓取，降低对网站负担，适用于LLM预训练、数据集构建等场景。

AI项目与工具 2025年06月12日 55 点赞 0 评论 247 浏览

VideoPainter

VideoPainter是由多所高校及科研机构联合开发的视频修复与编辑框架，采用双分支架构，结合轻量级上下文编码器和扩散模型，实现高效背景保留与前景生成。支持插件式操作，具备长视频对象一致性维持能力，并构建了大规模视频修复数据集，广泛应用于影视、广告、教育等领域。

AI项目与工具 2025年06月12日 33 点赞 0 评论 273 浏览

WebSSL

WebSSL是由Meta和纽约大学等机构开发的视觉自监督学习模型，基于大规模网络图像数据训练，无需语言监督即可学习有效视觉表示。其包含多个变体，参数规模从3亿到70亿不等，在多模态任务如视觉问答、OCR和图表理解中表现出色。通过筛选含文本图像数据，显著提升特定任务性能。模型具备良好的扩展性，适用于智能客服、文档处理、医疗影像分析等多个领域。

AI项目与工具 2025年06月11日 92 点赞 0 评论 453 浏览

Skild Brain

Skild Brain 是 Skild AI 推出的具身智能基础模型，具备强大的泛化能力和多场景适应性，可应用于机器人控制、物体操作、环境导航等任务。其基于大规模数据训练，支持多种机器人平台，适用于工业自动化、物流、医疗及家庭服务等领域。

AI项目与工具 2025年06月11日 72 点赞 0 评论 165 浏览